Chapeau
En 2018, junto con las conferencias de Content Moderation at Scale en Estados Unidos, un grupo de organizaciones de derechos humanos, defensores y expertos académicos desarrollaron y lanzaron un conjunto de tres principios para la mejor manera de obtener una transparencia significativa y responsabilidad en torno a la moderación cada vez más agresiva de las plataformas de Internet de los contenidos generados por los usuarios. Estos principios, que llevan el nombre del lugar de la reunión inicial del grupo en Santa Clara, California, representan recomendaciones para los pasos iniciales que las empresas dedicadas a la moderación de contenidos deberían dar para proporcionar un debido proceso significativo a los oradores afectados y garantizar mejor que la aplicación de sus directrices de contenido sea justa, imparcial, proporcional y respetuosa con los derechos de los usuarios. Esta fue la primera iteración de los Principios de Santa Clara.
Desde 2018, doce grandes empresas -entre ellas Apple, Facebook (Meta), Google, Reddit, Twitter y Github- han endorsed los Principios de Santa Clara y el número general de empresas que ofrecen transparencia y garantías de procedimiento ha aumentado, así como el nivel de transparencia y garantías de procedimiento que ofrecen muchas de las empresas más grandes.
Al mismo tiempo, la importancia del papel que desempeñan estas empresas en la sociedad sigue aumentando, lo que se traduce en una responsabilidad cada vez mayor de proporcionar niveles suficientes de transparencia en torno a las decisiones que toman, con el fin de permitir la rendición de cuentas.
Por estas razones, una amplia coalición de organizaciones, defensores y expertos académicos trabajaron juntos en 2020 y 2021 para desarrollar esta segunda iteración de los Principios de Santa Clara. Se elaboraron tras un amplio ejercicio de consulta en el que participaron más de 50 organizaciones y personas, y un minucioso proceso de redacción y revisión. Al aprovechar la experiencia y los conocimientos de todas las partes del mundo, esta segunda iteración de los Principios de Santa Clara refleja mejor las expectativas y necesidades de la comunidad mundial.
Esta segunda iteración de los Principios de Santa Clara se divide en Principios Fundamentales y Principios Operativos. Los Principios Fundamentales son principios generales y transversales que deben ser tenidos en cuenta por todas las empresas, sea cual sea su modelo de negocio, su edad y su tamaño, a la hora de participar en la moderación de contenidos. En ellos se establece cada principio y se orienta sobre cómo aplicarlo. Los Principios Operativos establecen expectativas más detalladas para las empresas más grandes o maduras con respecto a etapas y aspectos específicos del proceso de moderación de contenidos. Las empresas más pequeñas, más nuevas y con menos recursos también pueden querer utilizar los Principios Operativos como orientación y para informar sobre el cumplimiento futuro. A diferencia de las normas mínimas establecidas en la primera iteración, esta segunda iteración ofrece una mayor especificidad en cuanto a la información necesaria para garantizar una transparencia y una responsabilidad significativas.
Esta segunda iteración de los Principios de Santa Clara amplía el ámbito en el que se exige transparencia con respecto a lo que se considera “contenido” y “acción” realizada por una empresa. El término “contenido” se refiere a todos los contenidos generados por el usuario, pagados o no, en un servicio, incluida la publicidad. Los términos “acción” y “actuación” se refieren a cualquier forma de acción coercitiva tomada por una empresa con respecto al contenido o la cuenta de un usuario debido al incumplimiento de sus normas y políticas, incluyendo (pero sin limitarse a) la eliminación de contenidos, la reducción de la clasificación algorítmica de los contenidos y la suspensión (temporal o permanente) de las cuentas.
Esta segunda versión de los Principios de Santa Clara se ha elaborado para ayudar a las empresas a cumplir con su responsabilidad de respetar los derechos humanos y mejorar su rendición de cuentas, así como para ayudar a los defensores de los derechos humanos en su trabajo. No están diseñados para proporcionar un modelo de regulación.
Los autores:
Authors:
Principios fundamentales
1. Derechos humanos y garantías procesales
Principio: Las empresas deben garantizar que las consideraciones sobre derechos humanos y garantías procesales se integren en todas las etapas del proceso de moderación de contenidos, y deben publicar información que describa cómo se realiza esta integración. Las empresas sólo deberían utilizar procesos automatizados para identificar o eliminar contenidos o suspender cuentas, complementados o no por una revisión humana, cuando exista una confianza suficientemente alta en la calidad y precisión de esos procesos. Las empresas también deben proporcionar a los usuarios métodos claros y accesibles para obtener apoyo en caso de acciones sobre contenidos y cuentas.
Aplicación: Los usuarios deben tener la seguridad de que las consideraciones sobre derechos humanos y garantías procesales han sido integradas en todas las etapas del proceso de moderación de contenidos, incluso siendo informados de:
Cómo ha tenido en cuenta la empresa los derechos humanos -en particular el derecho a la libertad de expresión y a la no discriminación- en el desarrollo de sus normas y políticas;
- Cómo ha considerado la empresa la importancia del debido proceso a la hora de aplicar sus normas y políticas y, en particular, cómo el proceso es íntegro y se administra de forma justa; y
- La medida en que la empresa utiliza procesos automatizados en la moderación de contenidos y cómo la empresa ha considerado los derechos humanos en dicho uso.
2. Normas y políticas comprensibles
Principio: Las empresas deben publicar normas y políticas claras y precisas relativas a cuándo se tomarán medidas con respecto a los contenidos o las cuentas de los usuarios, en un lugar central y de fácil acceso.
Aplicación: Los usuarios deben ser capaces de entender fácilmente lo siguiente:
- Qué tipos de contenidos están prohibidos por la empresa y serán eliminados, con orientaciones detalladas y ejemplos de contenidos permitidos y no permitidos;
- Los tipos de contenidos contra los que la empresa tomará medidas distintas de la eliminación, como la reducción de la clasificación algorítmica, con orientaciones detalladas y ejemplos sobre cada tipo de contenido y acción; y
- Las circunstancias en las que la empresa suspenderá la cuenta de un usuario, ya sea de forma permanente o temporal.
3. Competencia cultural
Principio: La competencia cultural requiere, entre otras cosas, que quienes toman las decisiones de moderación y apelación comprendan el idioma, la cultura y el contexto político y social de las publicaciones que están moderando. Las empresas deben garantizar que sus normas y políticas, así como su aplicación, tengan en cuenta la diversidad de culturas y contextos en los que sus plataformas y servicios están disponibles y se utilizan, y deben publicar información sobre cómo se han integrado estas consideraciones en relación con todos los principios operativos. Las empresas deben garantizar que los informes, avisos y procesos de apelación estén disponibles en el idioma en el que el usuario interactúa con el servicio, y que los usuarios no se vean perjudicados durante los procesos de moderación de contenidos por motivos de idioma, país o región.
Aplicación: Los usuarios deben tener acceso a las normas y políticas, así como a los mecanismos de notificación, apelación y denuncia, en la lengua o dialecto con el que se relacionan. Los usuarios también deben tener la seguridad de que:
- Las decisiones de moderación las toman quienes conocen la lengua o el dialecto en cuestión;
- Las decisiones de moderación se toman teniendo en cuenta el contexto regional o cultural pertinente.
- Las empresas presentarán datos que demuestren su competencia lingüística, regional y cultural para los usuarios a los que prestan servicio, como las cifras que demuestran la distribución lingüística y geográfica de sus moderadores de contenidos.
4. Participación del Estado en la moderación de contenidos
Principio: Las empresas deben reconocer los riesgos particulares para los derechos de los usuarios que resultan de la participación del Estado en los procesos de moderación de contenidos. Esto incluye la participación del Estado en el desarrollo y la aplicación de las normas y políticas de la empresa, ya sea para cumplir con la legislación local o para servir a otros intereses del Estado. Son motivo de especial preocupación las demandas y solicitudes de los agentes estatales (incluidos los organismos gubernamentales, las autoridades reguladoras, los organismos encargados de hacer cumplir la ley y los tribunales) para la eliminación de contenidos o la suspensión de cuentas.
Implementación: Los usuarios deben saber cuándo un actor estatal ha solicitado o participado en cualquier acción sobre su contenido o cuenta. Los usuarios también deben saber si la empresa cree que la acción fue requerida por la ley pertinente. Mientras que algunas empresas informan ahora de las demandas estatales de restricción de contenidos en virtud de la ley como parte de sus informes de transparencia, otras participaciones estatales no se informan ni públicamente ni a los usuarios accionados. Sin embargo, las empresas deberían informar claramente a los usuarios cuando haya alguna implicación estatal en la aplicación de las normas y políticas de la empresa.
En concreto, los usuarios deben poder acceder:
- Detalles de cualquier norma o política, ya sea de aplicación global o en determinadas jurisdicciones, que trate de reflejar los requisitos de las leyes locales.
- Detalles de cualquier relación y/o acuerdo de trabajo formal o informal que la empresa tenga con actores estatales cuando se trata de marcar contenidos o cuentas o cualquier otra acción tomada por la empresa.
- Detalles del proceso mediante el cual se evalúan los contenidos o las cuentas señaladas por los agentes estatales, ya sea sobre la base de las normas o políticas de la empresa o de las leyes locales.
- Detalles de las solicitudes estatales de actuación de puestos y cuentas.
5. Integridad y explicabilidad
Principio: Las empresas deben garantizar que sus sistemas de moderación de contenidos, incluidos los componentes automatizados y no automatizados, funcionen de forma fiable y eficaz. Esto incluye buscar la precisión y la no discriminación en los métodos de detección, someterse a evaluaciones periódicas y proporcionar equitativamente mecanismos de notificación y apelación. Las empresas deben supervisar activamente la calidad de su toma de decisiones para garantizar un alto nivel de confianza, y se les anima a compartir públicamente los datos sobre la precisión de sus sistemas y a abrir sus procesos y sistemas algorítmicos a auditorías externas periódicas. Las empresas deben trabajar para garantizar que las solicitudes de actuación sean auténticas y no el resultado de bots o ataques coordinados.
Los sistemas automatizados suscitan muchas preocupaciones específicas, y las empresas deben emplearlos solo cuando tengan confianza en ellos, y de forma transparente y responsable.
Aplicación: Los usuarios deben tener confianza en que las decisiones sobre sus contenidos se toman con mucho cuidado y respetando los derechos humanos. Los usuarios deben saber cuándo las decisiones de moderación de contenidos han sido tomadas o asistidas por herramientas automatizadas, y tener un alto nivel de comprensión de la lógica de toma de decisiones empleada en los procesos automatizados relacionados con los contenidos. Las empresas también deben indicar claramente a qué controles tienen acceso los usuarios que les permiten gestionar la forma en que se curan sus contenidos mediante sistemas algorítmicos, y qué impacto tienen estos controles en la experiencia en línea del usuario.